Kyuubi 编译配置和使用指南

Kyuubi是一个基于Spark构建的，针对大规模数据处理分析的，支持统一多租户的JDBC接口服务。本篇围绕Kyuubi的编译，配置，部署和使用展开介绍。

注意：Kyuubi不支持scala 2.11。即要求Spark和Flink的Scala版本为2.12。链接：https://github.com/apache/incubator-kyuubi/issues/2903。

首先从GitHub clone项目到本地：

切换到需要编译的分支之后。执行：

开始编译和打包过程。编译完成后软件tar包会自动在源代码根目录生成。

全部配置项的官网介绍：https://kyuubi.apache.org/docs/latest/deployment/settings.html

Kyuubi Server支持高可用。我们可以使用Zookeeper提供Kyuubi的服务发现功能。

注意：如果启用了Kerberos，需要增加如下配置：

注意：

对应配置项为：kyuubi.engine.share.level 。支持如下配置值：

kyuubi-env.sh用来配置环境信息。例如JAVA_HOME，Spark/Flink安装目录，配置文件目录等。按照配置文件中注释补充需要的配置项即可。例如使用Spark Engine的时候我们必须配置：

例如启动Kyuubi server对应的Hadoop用户为kyuubi。编辑core-site.xml。加入如下配置：

保存后重启HDFS和Yarn。

注意：这里配置值使用*会导致可代理的用户范围过大，实际使用时酌情调整。

由于生产模式多用HA，且单机模式较为简单，这里只介绍HA的配置方式。

HA模式部署需要将Kyuubi复制到各个节点上。

如果启用了Kerberos，需要创建出每个节点Kyuubi使用的principal。比如3节点集群：host1,host2和host3，需要在Kerberos中创建3个principal：

接下来使用Kerberos创建这3个principal对应的keytab文件，分别放置到对应节点的同一目录下，例如/etc/security/keytabs/kyuubi.service.keytab。

然后在每个Kyuubi节点，分别修改它们的配置文件。需要关注的配置项如下：

需要注意的是：

明显可以看出三个节点的serviceUri完全相同，这样HA是无法工作的。

最后依次在各个节点的Kyuubi安装目录，执行bin/kyuubi start，启动kyuubi。

Kyuubi要求kyuubi用户必须要有访问HDFS数据目录（表数据的存放目录）和home目录(/user/kyuubi)的权限，以及提交任务到Yarn队列的权限。在启动Kyuubi服务之前需要通过Ranger配置kyuubi具有上述权限。

kyuubi服务启动/停止/重启：

如果启用了HA，可在多个节点使用相同配置启动多个Kyuubi Server实例。参见前面章节。

连接Kerberos认证的集群前需要kinit：

以下命令需要进入到Kyuubi安装目录的bin目录执行。

非HA方式连接：

HA方式连接：

注意，非Kerberos集群使用无需指定principal参数。指定用户名使用-n 用户名方式，如下所示：

连接URL参数解析：

Kyuubi在设计上支持多租户。目前Spark Engine对多租户的支持最为完善。使用租户身份连接Kyuubi server有如下两种方法。

kinit Kyuubi Server启动用户对应的principal。连接URL中principal配置Kyuubi Server用户对应的principal。然后在连接URL后增加hive.server2.proxy.user参数，指定使用哪个租户。要求租户需要具有HDFS访问权限和Yarn队列提交任务权限。

例如租户为paul时，我们执行：

可以看到Kyuubi engine启动执行spark-submit使用的--proxy-user参数为paul。

kinit租户对应的principal。连接URL中principal配置Kyuubi Server用户对应的principal。

需要注意：如果租户访问（例如使用beeline）和Kyuubi Server在同一个节点时，不要和Kyuubi Server公用一个ticket cache。建议切换到其他Linux用户再执行kinit。

然后执行如下命令。不再需要添加hive.server2.proxy.user参数。

可以使用spark.yarn.queue指定Spark Engine在Yarn的哪个队列中运行。该配置可以写到连接URL中或者是kyuubi-defaults.conf中。

如果我们直接使用Kyuubi连接集成Hudi的Spark，可以查询表数据，但是在创建表或者插入数据的时候会出现问题。因此，使用Kyuubi连接集成了Hudi的Spark需要做特殊配置。下面给出步骤。

首先需要将hudi-spark3.x-bundlejar包放入${SPARK_HOME}/jars目录，这样启动Spark engine的时候无需再指定加载hudi相关的jar包。

然后修改${SPARK_HOME}/conf/spark-defaults.conf文件。对于Hudi 0.11.1，增加：

对于Hudi 0.13.x版本增加：

接着查看Yarn中是否有已经启动的Kyuubi Spark Engine应用。如果有，需要手工kill掉。最后使用beeline工具重新连接，即可使用Kyuubi操作Spark Hudi表。

默认情况Kyuubi使用Spark standalone engine。如果需要使用Spark on Yarn engine。需要在kyuubi-defaults.conf中增加：

保存后重新启动Kyuubi。